[レポート]インフォマティカ×Snowflakeで実現する次世代のクラウドデータウェアハウスウェビナー

クラスメソッドインフォマティカ Advent Calendar 2020

#Informatica Intelligent Cloud Services

#インフォマティカ

#Snowflake

kuwa

2020.12.13

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

本エントリはクラスメソッド インフォマティカ Advent Calendar 2020 のエントリです。

クラスメソッドインフォマティカ Advent Calendar 2020 - Qiita
クラスメソッドインフォマティカ Advent Calendar 2020 ｜特集カテゴリー｜ Developers.IO
データアナリティクス事業本部、kuwaです。アドベントカレンダー13日目です！

「【オンデマンド配信】「インフォマティカ×Snowflakeで実現する次世代のクラウドデータウェアハウスウェビナー」を受講しましたので、レポートします。
最初に、コメントしておきますが、それぞれのサービスの関わりが非常に分かりやすく表現されていました。本ブログをサッと見ていただいたらオンデマンドウェビナー本編をご覧頂ければと思います。
デモセッションもあるので非常に理解が深まる内容となっております！

ウェビナー情報

公式情報

「【オンデマンド配信】「インフォマティカ×Snowflakeで実現する次世代のクラウドデータウェアハウスウェビナー」

概要

昨今、低コストで高性能、かつ無限のスケーリング機能を持つクラウドデータウェアハウス・データレイクへと移行するお客様が急速に増えています。そのなかで、Snowflakeは現在最も注目を集めるサービスの一つであり、クラウド向けに構築された次世代のデータウェアハウスを提供しています。

本ウェビナーでは、Snowflakeのソリューションアーキテクトである松下氏と共に、「クラウドデータウェアハウスがもたらすデータ分析環境のモダナイゼーション（最新化）」について解説します。

アジェンダ

以下の流れでウェビナーが進行します。

昨今の市場動向
Snowflakeが選ばれる理由
インフォマティカ × Snowflake が実現する次世代のデータ分析環境【デモ】
インフォマティカ × Snowflake お客様事例のご紹介
特別キャンペーンについて
Q＆A / アンケート

登壇者

インフォマティカ・ジャパン株式会社
セールスコンサルティング本部
ソリューションアーキテクト
森本　卓也氏
Snowflake株式会社
シニアセールスエンジニア
松下　正之　氏

以降、レポート

では、アジェンダ毎にレポートします。

昨今の市場動向

最初にインフォマティカ・ジャパンの森本氏より昨今の市場動向についてのセッションです。

テクノロジーシフトが加速

全てのテクノロジー分野でクラウドが当たり前になってきた状況です。
インフォマティカ社は26年間、ITを支えるデータ、データマネージメントに関するサービスを提供してきて進化してきました。
インフォマティカ社のサービス提供の領域は、以下の通りです。
- データ統合, マスタデータ管理, データ品質管理, データセキュリティ, データエンジニアリング, クラウドデータ統合, データカタログ, データガバナンス

クラウド・データウェアハウスとデータレイクへのシフトが加速

ここ数年でゲームチェンジが行われてきた領域はデータレイク、データウェアハウス領域です。
オンプレミスから、クラウドへ移行しており、データレイク、データウェアハウスにおいては、クラウド製品を選択するケースが多くなっている状況。
そんな中で注目されているのがSnowflakeです。

Snowflakeが選ばれる理由

ここからはSnowflake 松下氏よりSnowflakeの概要と技術の特長についてのセッションです。

Our Mission

Enable every organization to be data-driven 全ての組織をデータドリブンへ

Snowflakeは”全ての組織をデータドリブンへ”を目指してデータプラットフォームを開発して提供しています。

３年間のステルスモードの後、４年間の販売実績

データウェアハウス向けの新しいアーキテクチャ

従来型の「Shared Everything」「Shared Nothing」型のアーキテクチャは、「複数のワークロードを互いに動かす場合にお互いに影響を与えてしまうということ。＝「独立して動かすことが難しいアーキテクチャ。」という問題がありました。
一方、Snowflakeが開発したのは「Multi-Cluster, Shared Data型」で、「データはスケールアウト可能なストレージに集中化」、「コンピュートリソースはお互いのワークロードにそれぞれ与える」ということ。お互いに影響を与えないアーキテクチャを開発しました。

Snowflake アーキテクチャ

データは暗号化、圧縮して格納します。ギア（コンピュートリソース）はWarehouseと呼ばれます。
ワークロードが増えた場合、瞬時にWarehouseを追加させることが可能。
ワークロードを増強させる場合、XS→S→Mなどと増強が可能（スケールアップ）。
Warehouseをマルチクラスター化も可能です。（スケールアウト、スケールイン）
また、単価ｘ処理時間に応じて課金なので、サーバースペックを上げて単価が２倍になっても処理時間が1/2になれば、費用は変更がありません。秒単位での課金となります。

スケーリングアップ（１０億件のデータロード）

処理時間とコストと比較しながら、最適なウェアハウスのサイズを決定することがポイントです。以下のような場合は、X-LARGEくらいで実施するのがベターかと思われます。

まとめ

最後に、松下氏により、以下のようにまとめられました。

一番の機能は「コンピュートとストレージを分離したアーキテクチャであること」です。これにより、データ分析のプラットフォームを最適化することが可能となっています。

無償トライアルのご案内

Snowflake Trial

インフォマティカ × Snowflake が実現する次世代のデータ分析環境【デモ】

ここからはSnowflakeの画面操作含めてインフォマティカ・ジャパンの森本氏からのデモとなります。

Snowflakeで実現する次世代のクラウドデータウェアハウス

デモのシナリオとしては、まずはSnowflake単独で利用したイメージで「コンピュートとストレージの分離」「自由自在のスケールアップ」の２点を表現します。
以下の図で、左側のシステムから取得したCSVをSnowflakeにロードする処理となります。

デモ１：Snowflakeにデータをロード

Snowflakeが提供しているWorksheetsを使って、6000万件の大量のCSVデータをcopyコマンドでSnowflakeへロードします。
CSVのデータをMediumのWarehouse場合、23秒程度。その後、画面上で即時にWarehouseをX-Largeへ変更して、再実行し、14秒程度という流れです。あらゆるケースで自由自在のスケールアップが素晴らしいポイントです。

Snowflakeで実現する次世代のクラウドデータウェアハウス

ここからはインフォマティカ製品のデモとなります。引き続き、インフォマティカ・ジャパンの森本氏によるデモです。

実際にデータを集める際には「クラウド、オンプレ、様々なシステム形態」へ迅速かつ、簡単にデータを抽出できないという問題がでてきます。Snowflakeを活用する上で出てくる問題を解決するのがインフォマティカ製品です。Enterprise Data Catalog（以下、EDC）が各システムのメタデータをカタログ化して、探索可能にし、理解できるようにします。また、データの統合の問題については、Informatica Intelligent Cloud Service（以下、IICS）が解決します。

デモ２：インフォマティカ- Enterprise DataCatalogでのデータの発見

EDCのサービスにより、Snowflake上のテーブルの概要、カラム、データ内容の特長、傾向を理解します。

Oracleのデータを検索し、OracleからSnowflake、Tableauワークブックまでのリネージュ（データの流れ）を確認できます。

デモ３： Informatica Intelligent Cloud Services（IICS）によるデータ統合

マッピング機能を使用して、OracleからSnowflakeへのロードをGUI操作で実施可能です。

非構造化のロードに関しては、IICSが解析してロード可能です。

実際のケースでは変換を含めて実施するイメージになります。シンプルなGUIで実装可能です。さらに、SnowflakeにPushdownします。

実際に実行したPushdownの実行結果をSnowflakeでログ確認すると、Create TableとInsertの処理がSnowflake側で実行されていることが分かります。

インフォマティカはSnowflakeプロジェクトをエンタープライズ規模で成功に導く

インフォマティカ・ジャパンの森本氏より。

今回紹介されなかった要件の解決もインフォマティカ社ではサポートしており、データ品質の問題、ガバナンス、データ保護のような問題も解決できます。

インフォマティカ × Snowflake お客様事例のご紹介

Snowflake公開事例
- LAUREATE社の事例紹介
  - レガシーインフラストラクチャから、インフォマティカとSnowflakeへ移行。
  - Snowflakeを単一のデータベースとし、IICSによる統合で、処理時間を12時間から15分に短縮しました。また、従量課金によってコスト面でも素晴らしい成果がありました。
某自動車会社様事例
- AWS（クラウド）、Snowflake（データレイク、データウェアハウス）、Informatica（データガバナンス、カタログ、セキュリティ）という構成の近代的なデータプラットフォームを実現。 - 本件のようにデータプラットフォームの構築と共に、全社的なデータガバナンスに取り組むケースが増えています。

インフォマティカｘ Snowflakeをご採用頂くメリット

以下については、ここからはSnowflake 松下氏より。

大きく３つ
- データを活用していくうえで、入り口から出口までシームレスに活用でき、効率化を高めることができる。
- Snowflake、インフォマティカがインテグレートしている。Pushdownなど。
- お互いに独立したベンダーであり、あらゆるクラウドに対応できる。

特別キャンペーンについて

最後に特別キャンペーンについてです。是非、触ってみてください。

”現時点で”期間の制約無く、４つのプレミアムコネクターからSnowflakeへロード可能です。

Partner Connect画面から５ステップでお申し込み可能です。
Step1：Partner Connectをクリック

Step2：Informaticaロゴをクリック

Step3：確認です。

Step4：Activeにします。
Step5：インフォマティカ側に飛びますので、必要事項を記入します。
IICS上でSnowflakeのコネクションが確認できます。

ウェビナー参加まとめ

インフォマティカ×Snowflakeで実現する次世代のクラウドデータウェアハウスウェビナーをレポート致しました。
ウェビナーの流れはとても分かりやすく、最後のデモのPushdownまで、とても理解が深まりました。
Snowflakeの新しい考え方と、それを有効活用するインフォマティカ製品の関係がしっくりくると思います。
データウェアハウスはもちろんですが、データカタログに関してもお問い合わせが多くなっているキーワードです。本ウェビナーでトレンドをよく理解して、各サービス選択のご検討に役立て下さい。
本レポートでは割愛している部分も多いので、是非ウェビナーをご参照頂ければと思います。

[レポート]インフォマティカ×Snowflakeで実現する次世代のクラウドデータウェアハウスウェビナー

ウェビナー情報

公式情報